|
|
Návrh a aplikace modelu pro testování implementace nové části DWH na platformě Teradata
Lysáček, Jakub ; Matuštík, Ondřej (vedoucí práce) ; Meixner, Jiří (oponent)
Práce se zaměřuje na aplikaci teorie softwarového testování na testování v oblasti datových skladů. Hlavním cílem práce je představení vybrané teorie z oblasti testování softwaru a její analogické použití v oblasti testování datových skladů. Součástí hlavního cíle je představení architektonického modelu procesu testování a zaměření se na problematickou část oblasti testování datových skladů. Dílčím cíle práce je ověření problematické části modelu na příkladovém scénáři. Dílčí cíl se dělí na sběr a kategorizaci požadavků a na demonstraci ovlivnění procesu testování vlivem změny požadavků, dostupných zdrojů a specifickým prostředím systému Teradata. V teoretické části jsou shrnuty vybrané poznatky z teorie testování softwaru, které jsou s pomocí dostupné literatury převedeny do oblasti datových skladů. Kapitola představuje fáze testování datových skladů a konkrétní cíle testování dané fáze. Dále kapitola popisuje kategorizaci dimenzí kvality dle modelu FURPS a vybrané způsoby klasifikace priority požadavků. Ve druhé části je představen architektonický model procesu testování, jehož entity jsou detailně popsány. Následně se část zaměřuje na oblast sběru a vyhodnocení požadavků, ve které je představen vliv času, dostupných zdrojů a požadované kvality na nastavení procesu testování. V praktické části je na příkladu představena probíraná problematická část, tedy sběr požadavků, jejich přiřazení k dimenzím kvality a kategorizace dle jejich priority. Následně je představen vliv projektových zdrojů a požadavků na rozsah testování. Praktická část ukázala, že sběr požadavků a určení jejich priorit umožňuje utřídit rozsah testování do logických a přehledných celků, určit role a jejich zodpovědnosti a agilně reagovat na po-žadavky projektu, které se mohou měnit. Práce také ukázala, že změny rozsahu testování s sebou nesou určitá rizika, která je nutné zvážit.
|
|
|
Aplikace komprese nad datovým skladem od Teradaty
Bednář, Josef ; Pour, Jan (vedoucí práce) ; Gála, Libor (oponent)
Téma práce bylo zvoleno v rámci snahy společnosti o lepší optimalizaci datového skladu. Z důvodu změny ETL procesu, kde se hlavní část zpracování přesunulo pod databázový systém Teradaty bylo vhodné provést optimalizaci jak výkonovou tak i kapacitní. V první části práce je popsán koncept Teradata a její architektura. Většímu prostoru v práci dostaly Statistiky, které spadají pod výkoností optimalizaci systému. Hlavní část pak pojednává o kompresích, kterých má Teradata k dispozici několik druhů. V praktické části je přímo provedena aplikace Multi-value komprese na základě získaného nástroje. Pro správnou funkčnost generovaných skriptů byla nutná jejich úprava a zároveň bylo provedeno i reportování chyb a komunikace s vývojovým týmem. V závěru došlo k nasazení komprese na vývojové prostředí a porovnání s odhadem. V rámci blokové komprese byly vytipovány vhodné tabulky, provedena zkušební aplikace komprese a závěrečné doporučení.
|
|
|
Reporting výkonnosti pobočkových pracovníků
Klepetko, Vítězslav ; Novotný, Ota (vedoucí práce) ; Pour, Jan (oponent)
Tato práce se zabývá návrhem a implementací systému pro řízení podnikové výkonnosti v oblasti retailového bankovnictví. Práce předkládá návrh stromu výkonnostních metrik na základě Dupontovy pyramidy. Díky obohacení o nefinanční ukazatele provazuje tento strom všechny úrovně řízení a ukazuje, jak operativní činnosti jednotlivce vedou k dosažení podnikové strategie. Model pracuje s finančními metrikami jako úroková marže, zůstatky na účtu, poplatky, mzdové náklady a propojuje je s nefinančními ukazateli, jako jsou aktivity klientských pracovníků, ukazatele úspěšnosti marketingových kampaní či stížnosti klientů. Implementace systému je řešena pomocí obvyklých nástrojů Business Intelligence. Zdrojem dat je datový sklad ve třetí normální formě, pro potřeby systému řízení podnikové výkonnosti práce navrhuje datové tržiště na platformě Teradata. Do něj jsou pomocí SQL transformována data z datového skladu a nad ním vytvořena metadata v aplikaci Microstrategy pro distribuci dat mezi uživatele.
|
|
|
Vývoj datového skladu na platformě Teradata a Informatica v sektoru pojišťovnictví
Šiler, Zdeněk ; Maryška, Miloš (vedoucí práce) ; Hanušová, Jana (oponent)
Tato diplomová práce se zabývá vývojem datového skladu na technologické platformě TERADATA a Informatica Power Center (dále jen IFPC). TERADATA poskytuje robustní databázový systém vhodný pro ukládání velkého objemu dat a rychlé zpracování dotazů nad těmito daty. Produkt Power Center slouží jako nástroj pro vývoj ETL procesů. Oba nástroje patří k vyspělým technologiím pro budování velkokapacitních datových skladů. Spojení databázového systému TERADATA a ETL nástroje IFPC vytváří výkonnou platformu pro vývoj datového skladu, kde jsou ukládány velké objemy dat napříč celým podnikem. Práce analyzuje oba nástroje při budování datového skladu a specifika jejich využití v sektoru pojišťovnictví. Práce je rozdělena do dvou hlavních tematických bloků -- teoretické a praktické části. Teoretická část práce detailně popisuje databázový systém TERADATA a ETL nástroj IFPC, včetně analýzy business intelligence architektury v segmentu pojišťovnictví, kde se často využívá této platformy pro budování a rozvoj datového skladu. Práce popisuje architekturu databázového systému TERADATA a způsob, jakým TERADATA ukládá data a zpracovává dotazy. Dále jsou charakterizována specifika, která je nutno zohlednit při vývoji datového skladu nad databázovým systémem TERADATA, a zároveň jsou analyzovány jeho výhody a nevýhody. Databázový systém TERADATA je konfrontován s ostatními konkurenčními databázovými systémy. Práce se věnuje také obecné charakteristice ETL nástroji IFPC - architektuře a jednotlivým komponentám. Jsou zkoumány výhody a nevýhody IFPC oproti konkurentům dostupným na trhu. Závěr teoretické části analyzuje synergické efekty platformy TERADATA a IFPC. Práce objasňuje reálné výhody spojení obou prostředků při budování a rozvoji datového skladu. Praktická část demonstruje použití nástrojů TERADATA a IFPC při vývoji datového skladu na reálném projektu Unifikace klientských dat. Na tomto projektu je popsán celý proces vývoje v datovém skladu od byznys požadavků přes funkční a technický design až k implementaci konkrétnímu mappingu v IFPC, řešení chyb během ETL vývoje a způsobu testování mappingu. Hlavní důraz je kladen na realizaci mappingu v IFPC, který je implementován v reálném prostředí v sektoru pojišťovny. Součástí této práce je také porovnání ETL nástrojů IFPC a SSIS dostupného v integrovaném balíku SQL Server 2008 R2.
|
|
|
Porovnání možností systémů Teradata a Oracle
Mimra, Jonáš ; Palovská, Helena (vedoucí práce) ; Vedral, Jakub (oponent)
Ve své práci se zabývám dvěma databázovými systémy, Oracle a Teradata. Porovnávám rozdíly ukládání dat a databázové architektury. Práce zkoumá výkonnost obou systémů, nainstalovaných na jeden operační systém. Analýza proběhla na základě rychlosti importu dat a odezvy SQL dotazů jako SELECT, SELECT s použitím JOIN a UPDATE. Na základě provedených měření přicházím s doporučením, který systém je vhodnější pro OLAP a OLTP technologii uložení dat v databázi.
|
|
|
Řízení datového skladu a optimalizace MWF
Matoušková, Barbora ; Maryška, Miloš (vedoucí práce) ; Faina, Michal (oponent)
Diplomová práce se zabývá datovým skladem ve velké bankovní instituci, a to zejména z pohledu řízení jeho provozu. Pro rychlé pochopení principů datového skladu zahrnuje práce jeho popis z hlediska datové architektury, transformačních procesů a způsobu prezentování dat uživatelům. Dále jsou v práci uvedeny a charakterizovány systémy, které jsou v datovém skladu využívány jak pro byznys data, tak pro metadatové účely. V práci jsou popsány aktivity prováděné při řízení skladu a identifikována slabá místa pro potenciální zlepšení. Součástí práce je i projekt optimalizace plánovacího mechanismu (Master Workflow) pro spouštění transformačních procesů, který zahrnuje snižování zátěže databázového systému Teradata metadatovými procesy. Hlavním cílem práce je srozumitelně popsat prostředí datového skladu, jehož pochopení jako celku je důležité jak pro pracovníky zodpovědné za chod a fungování skladu, tak pro vývojáře, kteří díky tomu mohou přizpůsobit své vývojové aktivity, dodávat kvalitnější řešení a tím zkvalitnit nasazování změn do produkčního prostředí. Tento cíl je v práci dosažen stručným popisem datového skladu (zejména popisem datové architektury, transformačních procesů, provozních postupů a nástrojů používaných při nasazování změn do produkčního prostředí). Dalším cílem je poskytnout zpětnou vazbu na provozní činnosti z pohledu pracovníka oddělení provozu datového skladu a tím pomoci k jejich odstranění. Posledním cílem práce je vylepšení plánovacího mechanismu zodpovědného za chod a evidenci transformačních procesů. Tohoto cíle je dosaženo projektem, který tuto problematiku řeší a na kterém jsem pracovala. V práci je popsán původní stav, provedené změny, nový stav po optimalizaci a posouzení úspěšnosti projektu. Mezi přínosy práce patří snadnější a rychlejší pochopení datového skladu jako celku a způsobu řízení transformačních procesů ať už pro nové pracovníky provozu nebo pro vývojáře (což s sebou přináší potenciální zlepšení dodávek). Dalšími přínosy jsou možnost odstranění slabých míst provozu a optimalizace plánovacího systému (došlo jak k jeho standardizaci (očištění), tak ke snížení zátěže databázového systému Teradata). Vlastním přínosem k řešenému tématu je kromě srozumitelného a užitečného úvodu do datového skladu také identifikace jeho slabých míst, návrhy na zlepšení a samotný projekt optimalizace, jež zabral cca 17 MD. Práce je strukturována do kapitol dle tématických celků: úvodní informace o diplomové práci, teoretický základ (komponenty BI, současný stav řešené problematiky), charakteristika hlavních nástrojů využívaných v datovém skladu, popis prostředí datového skladu, popis provozních aktivit včetně identifikace slabých míst a na konec projekt optimalizace Master Workflow. V poslední kapitole je závěrečné shrnutí práce
|
|
|
Řízení zátěže datových skladů s využitím architektury Teradata Active System Management
Taimr, Jan ; Pour, Jan (vedoucí práce) ; Omacht, Jiří (oponent)
Tato práce je zaměřena na problematiku řízení zátěže datových skladů založených na technologiích Teradata s využitím architektury Active System Management. Cílem práce je charakteristika a analýza architektury Active System Management a typů pravidel využitelných při řízení zátěže datových skladů Teradata. Cíle je dosaženo rešerší dostupných zdrojů a jejich následnou analýzou. Informace získané na základě analýzy jsou empiricky ověřeny na konkrétní instanci datového skladu a s využitím syntézy prezentovány v této práci. Přínosy práce jsou ve zdokumentování technologie, která v České republice není v současnosti příliš známá a rozšířená. Dalším přínosem je identifikace rizik, nedostatků a doporučených postupů při řízení zátěže za použití Active System Management na základě empirických testů. Za použití indukce je navržen opakovatelný postup implementace Active System Management. V práci je zhodnocena zralost architektury k nasazení v produkčním prostředí. Práce je hierarchicky rozdělena do kapitol, ve kterých je zpracována charakteristika databázových technologií Teradata, řízení zátěže, Active System Management a postupu implementace. První tři zmíněné kapitoly jsou zaměřeny teoreticky, ovšem obsahují také praktické poznatky, které se týkají zpracovávané teorie. Poslední zmíněná kapitola je praktická, je v ní navržen opakovatelný postup implementace architektury Active System Management.
|
|
|
Roles in Data Governance
Reken, Jaroslav ; Slánský, David (vedoucí práce) ; Pour, Jan (oponent)
Tato práce je věnována oblasti Data Governance (DG) s hlavním zaměřením na role v DG. První část práce se věnuje oblasti DG z obecního pohledu. Představují se zde základní principy DG a je určena k lepší pochopení následujících částí. Druhá část obsahuje různé přístupy k DG a organizačním strukturám a rolím v DG. Jsou to přístupy od společností IBM, Terada, KIK Consulting a The Data Governance Institute. Jsou to společnosti s předními přístupy DG, a věnují se tomuto tématu již dlouhou dobu. Závěr druhé kapitoly obsahuje srovnání jednotlivých přístupů k organizačním rolím v DG. Třetí kapitola obsahuje můj vlastní přístup k rolím v DG. Nachází se v ní rozdělení jednotlivých rolí podle různých kritérií, popis těchto rolí a praktické příklady výskytu těchto rolí. V celku to dává jedinečný přehled o rolích v DG, což napomůže pro získání přehledu a zároveň může posloužit jako podklad pro určování rolí během provádění DG programu.
|
|
|
Optimalizace databázového systému Teradata
Krejčík, Jan ; Chlapek, Dušan (vedoucí práce) ; Štaud, Karel (oponent)
Databázový systém Teradata je určen pro prostředí datových skladů. Práce zkoumá využití Teradaty právě v takovém prostředí a popisuje jeho vlastnosti a možnosti optimalizace. Teoretická část je zaměřena na uživatele, aby ji mohli používat jako pro ně určený studijní materiál, a obsahuje hlavní principy fungování tohoto systému a popis faktorů, které ovlivňují významně výkon systému Teradata. Další části se zabývají využitím nabytých poznatků pro analýzu a optimalizaci několika oblastí popisovaného prostředí.
|
|
|
Srovnání robustních a open source databázových systémů
Vích, Marek ; Chlapek, Dušan (vedoucí práce) ; Krch, David (oponent)
Práce se zabývá problematikou objektově-relačních databázových systémů. Cílem je analýza současné situace na poli databázových platforem ze sféry tradičních robustních i open source produktů, která by vedla k posouzení předpokladů uplatnění otevřených databázových platforem v oblastech dosud charakteristických především pro tradiční distributory. Na počátku práce nejprve přibližuji čtenáři otázky související s distribucí softwaru (proprietární vs. open source) a základní pojmy v oboru databázových systémů. Po tomto výchozím uvedení stanovuji kriteria pro následnou komparaci vybraných databázových platforem, která předurčují další postup v rozhodující části věnované komparační analýze. K dovršení celého rozboru práci uzavírám nastíněním přítomných možností využití tradičních robustních a především pak open source databázových systémů. Komparační analýza je vystavena na základě předem definovaných kritérií do pěti oddílů zohledňujících základní charakteristiky, technologické a funkční vlastnosti, bezpečnost, dostupnost i podporu produktů a nevěnuje se rozboru z hlediska výkonu a optimalizace. Za účelem srovnání byly vybrány čtyři přední databázové systémy ? Oracle, DB2, Teradata a PostgreSQL. V návaznosti na důkladnou analýzu, která vedla ke zmapování aktuální situace na databázovém trhu, jsou v závěru práce vytknuty hlavní faktory kolidující širšímu uplatnění open source platforem.
|
host ::
RSS.